Trong suốt những thế kỷ đầu tiên của đạo Kitô giáo (khoảng 30-130), Rôma đã trở thành một trung tâm Kitô giáo có vai trò rất quan trọng; tuy nhiên có rất ít tài liệu trong thời gian này chứng minh về vai trò lãnh đạo của tòa Rôma. Bằng chứng sớm nhất mà chúng ta có là một bức thư của Clêmentê, người được xem là môn đệ của các Tông đồ và là vị Giám mục Rôma thứ tư sau Phêrô, Linô và Anaclêtô. Trong thư "gửi tín hữu Côrintô" viết năm 95 hoặc 96, ông bảo họ nhận lại các Giám mục mà phe cánh của họ đã trục xuất. Ông nói: "Nếu người nào bất tuân lời do Thiên Chúa nói qua ta, thì hãy cho họ hiểu rằng họ sẽ bị tội và nguy hiểm không phải là nhẹ" (Ep.59). Ngoài ra, ông bảo họ "phải vâng theo những điều đã được ta viết qua Chúa Thánh Thần". Như vậy, ngay từ những buổi sơ khai, một Giám mục Rôma đã can thiệp vào những công việc của một Giáo hội khác và đòi hỏi giải quyết vấn đề bằng một quyết định được linh ứng bởi Chúa Thánh Thần. Lightfoot đã coi đó là "bước đầu tiên hướng đến sự thống trị của Giáo hoàng" (Clêmentê 1,70).

Sang thế kỷ thứ hai, đã có thêm những bằng chứng chứng minh thẩm quyền của Rôma trên các Giáo Hội khác. Vào khoảng năm 107, thánh Inhaxiô Antiôkia, trong đoạn mở đầu thư gửi cho Giáo hội Rôma, đã đề cập đến quyền đứng đầu trên tất cả các Giáo Hội khác. Ngài gọi là "đứng đầu trên nhóm huynh đệ tình yêu" (prokathemene tesagapes)". Như chú giải của Funk, về mặt ngữ pháp, thuật ngữ này không hợp với phiên dịch của một số tác giả không Công giáo khi họ dịch là: "Ưu việt trong những việc làm tình yêu". Ngoài ra còn có Pôlycarpô và Clêmentê thành Alexacdria. Tuy nhiên tất cả các tác giả mà chúng ta có được tác phẩm điều là những nhà hộ giáo chống lại những người Do thái giáo hoặc những người ngoại đạo. Trong những công trình có đặc điểm như thế thì không có lý do gì để quy chiếu một sự việc như chức Giám mục Rôma của Phêrô.

Cũng vào thế kỷ ấy, chúng ta có một bằng chứng của thánh Irênê Giám mục của Lyon, một người có quan hệ gần nhất với thời đại của các Tông đồ, vì ngài là môn đệ của thánh Pôlycarpô, người mà Thánh Gioan đã bổ nhiệm làm Giám mục Smyrna. Irênê đã cung cấp cho chúng ta một lý lẽ vững chắc. Ngài đã chống lại các phải Ngộ đạo bằng cách đưa ra lý lẽ rằng giáo lý của họ không hề dựa trên truyền thống Tông đồ vốn được bảo tồn trung thực bởi các giáo hội; truyền thống này đã xác định được sự kế vị của các Giám mục sau nhóm mười hai. Trong cuốn Adversus Heresies (Chống lại các lạc giáo) (3.3.2), ngài viết: "Bởi vì trong một tập sách như thế này, thì quả là quá dài nếu liệt kê những sự kế vị của tất cả các giáo hội, nên chúng ta chỉ đề cập đến truyền thống rất lớn, rất xưa của Giáo hội được mọi người biết đến mà thôi; đó là Giáo hội đã được xây dựng là thiết lập bởi hai thánh Tông đồ Phêrô và Phao lô. Tôi nói chúng ta đề cập đến truyền thống mà Giáo hội này đã có từ các Tông đồ và niềm tin mà Giáo hội đã công bố cho nhân loại đến tận thời đại chúng ta qua sự kế vị của các Giám mục, và như vậy chúng làm cho tất cả những người tập hợp trong những nhóm trái phép phải xấu hổ. Vì với Giáo hội này, do thẩm quyền cao hơn của nó, mọi Giáo hội đều phải đồng ý – có nghĩa là tín hữu khắp mọi nơi – trong sự hiệp thông với Giáo hội mà truyền thống của các tông đồ đã luôn luôn được mọi người ở khắp mọi nơi gìn giữ (Ad hanc enim ecclesiam propter potentiorem principalitatem necesse est omnem convenire ecclesiam, hoc est eosqui sunt undique fideles, in qua simper ab his qui sunt undique, conservata est ea quâ est apostolis traditio).

Sau đó, ngài tiến hành liệt kê những vị kế vị ở Rô-ma từ Linô đến Êlêutêriô, vị thứ mười hai sau các tông đồ; là người đã giữ tòa Giám mục lúc đó. Trong hai đoạn văn (Adv. Haer – Chống lại lạc giáo – 1:27;1 à 3:4:3) ngài nói đến Hyginô như là Giám mục thứ chín của Rô-ma, khi dùng một bản liệt kê bao gồm Phê-rô như là Giám mục thứ nhất. Lightfoot chắc chắn đã giả định rằng đã có một sự nghi ngờ nào đó đối với sự chính xác trong việc đọc đoạn đầu của đoạn văn này. Trong 3:4:3, bản dịch tiếng Latinh quả có từ "octaus" (thứ tám), nhưng bản văn Hy Lạp, do Êusêbiô chưng dẫn, lại đọc là enatos. Chúng ta biết rằng Irênê đã đến thăm Rô-ma vào năm 177. Vào thời điểm này, vừa mới hơn một thế kỷ sau khi Phê-rô qua đời, có thể ngài đã tiếp xúc với những người mà chính cha ông của họ đã từng nói chuyện với vị tông đồ này.

Lightfoot (Clêmentê I:64) cho rằng việc đó có nguồn gốc từ tiểu thuyết Clêmentê. Tuy nhiên ngày nay người ta công nhận rằng công trình này không thuộc về thế kỷ II mà là thế kỷ IV. Lại không có cơ sở nào để xác nhận rằng cách nói của Irênê, 3:3:3, ngụ ý Phê-rô và Phao lô cùng chia sẻ một chức Giám mục ở Rô-ma. Cuốn 265 Đức Giáo hoàng viết: "thực ra ngài có ý muốn nói về việc hai vị tông đồ cùng nhau truyền chức cho Li nô. Nhưng từ ngữ được giải thích cùng với lý lẽ của ngài chỉ nhằm mục đích bảo vệ, chống lại những người ngộ đạo, tính hợp thức của giáo lý được giảng dạy trong Giáo hội Rô-ma. Vì thế tự nhiên ngài đi đến chỗ nhấn mạnh sự kiện Giáo hội đã thừa hưởng sự giảng dạy của hai vị Tông đồ cả. Êphianô hình như muốn nói đến chức Giám mục được phân chia; nhưng có lẽ ngài đã hiểu sai những lời lẽ của Irênê". Không một tác giả nặng ký nào phủ nhận việc Phê-rô đã đến Rô-ma và đã chịu tử đạo ở đó (Harnack, "Chronol" I,244 n,2). Tuy nhiên một vài người trong số những người chấp nhận rằng ngài đã giảng dạy và đã chịu đau khổ tại Rô-ma, lại phủ nhận việc ngài đã luôn là Giám mục của thành phố (Lightfoot, "Clêmentê thành Rôma", II.501; Harnack, I,703).

Một số tác giả không công giáo đã tìm cách loại bỏ tầm quan trọng của đoạn văn bằng cách dịch từ convenire là "thường xuyên lui tới" và như vậy có nghĩa là các tín hữu từ mọi phía (undique) thường xuyên lui tới Rô-ma, như thế có nghĩa là dòng Giáo lý trong Giáo hội đó đã được giữ đúng đắn. Tuy nhiên cần lưu ý rằng: Giáo lý Rô-ma là tinh tuyền bởi vì nó xuất phát từ hai vị Tông đồ Phê-rô và Phao-lô. Sự thường xuyên lui tới của các thành viên của các Giáo hội khác có thể không góp phần gì cho việc này. Mặt khác mạch văn đã chứng minh phiên dịch "truyền thống là đúng, và dù cho mục đích của vô số những cuộc tấn công là gì đi nữa, thì vẫn không có gì có khả năng thực sự thay thế nó (x. Dom J. Chapman trong "Revue Bénédictine", 1895, trg 48).

Ngay từ rất sớm, các Giáo hoàng đã can thiệp và giải quyết sự tranh chấp giữa các học thuyết Ky-tô giáo. Trong nhiệm kỳ Giám mục của Giáo hoàng Victor (189-198), chúng ta có một bằng chứng về quyền tối thượng của Tòa Giám mục Rô-ma đối với các Giáo hội khác. Một khác biệt về việc cử hành lễ phục sinh giữa các giáo hội Tiểu Á và phần còn lại của thế giới Kitô giáo đã đưa Giám mục Rô-ma đến chỗ hành động. Vào năm 195, Giáo hoàng Victor I đã dọa dứt phép thông công giáo phái Quarto (Quarto decimans) khi họ mừng lễ Phục sinh vào ngày 14 tháng Nisan, ngày vượt qua của người Do thái. Trong khi đó Giáo hoàng khẳng định, ngày lễ Phục sinh phải được tổ chức vào ngày Chủ nhật, một truyền thống chiếm ưu thế. Victor đã truyền cho các Giáo hội Á châu phải thích nghi với phần còn lại của Giáo hội, nhưng ngài đã vấp phải sự phản kháng quyết liệt của Pôlycrat thành Êphêsô là người tuyền bố rằng truyền thống của họ được truyền dạy bởi Thánh Gioan thành Evangelist. Thánh Irênê đã can thiệp vào và khuyên Victor không nên cắt đứt toàn bộ các Giáo hội vì một điểm không thuộc nội dung đức tin. Ngài cho rằng Giáo hoàng có thể thực thi quyền lực, nhưng khuyên không nên làm như thế.

Ít năm sau đó, một bản văn bằng chứng có từ thời kỳ này, được đưa ra ánh sáng ở Tiểu Á. Bản văn khắc trên bia mộ của Aberciô, Giám mục Hiêrapôlis (khoảng năm 200) ghi lại những cuộc du hành của ngài; diễn tả bằng ngôn ngữ phúng dụ. Ngài nói đến Giáo hội Rô-ma như thế này: "Đến Rô-ma, Người (Đức Ki tô) phái tôi đi chiêm ngưỡng vẻ uy nghi và viếng một hoàng hậu mặc áo bằng vàng và mang dép bằng vàng". Các học giả cho rằng điều này cho thấy địa vị tối cao của Tòa Giám mục Rô-ma.

Tiếp sau đó, vào khoảng năm 220 nổ ra cuộc bút chiến Tertullianô, "De Pudicitia" (Về sự liêm sỉ). Nó nổ ra do việc thực thi đặc quyền của Giáo hoàng. Giáo hoàng Callistô quyết định rằng biện pháp kỷ luật nghiêm khắc mà lúc đó đã phổ biến trong nhiều Giáo hội phải được triển khai trên bình diện rộng. Tertullianô, lúc ấy đã sa ngã vào lạc giáo, phản ứng dữ dội đối với sắc chỉ "kiên quyết" mà "vị Giám mục tối cao, Giám mục của các Giám mục đã đưa ra". Lời lẽ có chủ ý châm chọc nhưng chúng ta lại càng thấy rõ thẩm quyền của Rô-ma. Và sự chống đối xảy ra không phải từ một Giám mục Công giáo mà từ một người theo lạc giáo Montan. Tertullianô (De pud.21) đề cập đến yêu sách của Callistô là quyền tha tội đã đến với ngài một cách đặc biệt. Việc Giáo hội chỉ đơn thuần được xây dựng bởi Phê-rô mà không xem ngài là Giám mục đầu tiên có thể không có cơ sở trong một tranh luận như thế. Tertullianô, cũng như Firmilianô, có mọi động cơ để phủ nhận lời xác nhận.Hơn nữa chính ngài đã trú ngụ tại Rô-ma và đã biết rõ có phải ý tưởng về về chức Giám mục Rô-ma của Phêrô đã là, như những người đối lập tranh cãi, một điều mới mẻ bắt đầu có từ những năm đầu tiên của thế kỷ III, thay thế truyền thống xưa mà theo đó Phê-rô và Phao- lô đã là những người đồng xây dựng và Li nô là vị Giám mục đầu tiên không. Hippôlytô.

Khoảng cùng thời kỳ đó, Hippôlytô. (vì Lightfoot chắc chắn có lý khi xem ngài là tác giả phần thứ nhất của "bản danh sách Libêriô" – "Clêmentê thành Rôma", 1:259) kể Phê-rô vào trong danh sách các Giám mục Rô-ma.Hơn nữa chúng ta có một bài thơ, "Adversus Marcionem"(Chống lại Marciô, hình như được viết vào thời kỳ này, trong đó người ta nói Phê-rô đã chuyển qua cho Linô "chiếc ghế mà chính ngài đã ngồi" (Pl. II, 1077). Firmilianô Cêsarêa lưu ý rằng Stêphanô quyết định mở ra cuộc tranh cãi liên quan đến sự rửa tội lại với lý do ngài đang là người kế vị.

Vào giữa thế kỷ thứ ba (khoảng năm 258), các quan điểm của Cyprianô liên quan đến thẩm quyền Giáo hoàng rõ ràng đã gây ra nhiều tranh luận. Ngài đã tán thành những quan điểm về sự độc lập của các Giám mục riêng lẻ, điều này cuối cùng đã đưa ngài đến chỗ xung đột nặng với Rô-ma. Tuy nhiên trên nguyên tắc cơ bản, ngài đã quy cho Giáo haongf một quyền tối thượng hữu hiệu với tư cách là người kế vị của Phê-rô. Ngài đã gọi Rôma là Tòa giảng thánh Phêrô, khi nói rằng Cornêliô đã kế thừa "vị trí của Fabianô là vị trí của Phê-rô" (Ep. 55:8;X. 59:14). Ngài làm cho sự hiệp thông với Tòa Rô-ma trở thành chủ yếu đối với sự hiệp thông Công giáo, nói về nó như là "Giáo hội chính mà từ đó xuất phát tính duy nhất Giám mục" (ad Petri cathedram et ad ecclesiam principalem unde unitas sacerdotalis exorta est: đến tòa Phê-rô và đến Giáo hội chính, nơi mà từ đó xuất phát tính duy nhất tư tế).

Cyprianô đã khẳng định rằng tính duy nhất của Giáo hội đã được Đức Kitô thiết lập khi Người xây dựng Giáo hội của Người trên Phêrô. Bằng hành vi này, tính duy nhất của Tông đồ đoàn được bảo đảm xuyên qua tính duy nhất của sự xây dựng. Các Giám mục xuyên qua các thời kỳ hợp thánh một đoàn giống như thế và được kết chặt trọng một tính duy nhất như thể không phân chia ra được. Tòa Phêrô là nguồn gốc của tính duy nhất này. Nó hoàn toàn thành chức vụ thực sự như là nguyên lý hợp nhất mà Phêrô đã hoàn thành trong cuộc đời của ngài. Do đó hiệp thông với một phản Giáo hoàng như Noovatianô là ly giáo (Ep. 68:1). Ngài cũng tin rằng Giáo hoàng có thẩm quyền cách chức một Giám mục lạc giáo. Khi Marcianô thành Arles rơi vào lạc giáo, Cyprianô, theo yêu cầu của các Giám mục trong tỉnh đã gửi thư thúc đẩy Giáo hoàng Stêphanô "gửi thư ra vạ tuyệt thông Marcianô và cho một người khác có khả năng thay thế chỗ ông này" (Ep. 61:3).

Đồng thời với Cyprianô là thánh Điônysiô thành Alexandria. Êusêbiô (Lịch sử Giáo hội 7:9) cho chúng ta một bức thư gửi cho thánh Xystô liên quan đến một người hình như đã được rửa tội vô hiệu bởi những người lạc giáo, nhưng là người mà nhiều năm này đã lãnh nhận các bí tích của Giáo hội. Trong thư ông nói rằng ông cần ý kiến của thánh Xystô và xin quyết định (gnomen) của ngài để ông khỏi bị sai lầm (dedios me hara sphallomai). Vài năm sau, cũng vị thượng vụ đó lại gây ra sự lo lắng cho vài người trong các anh em đồng đạo khi dùng những thuật ngữ hầu như không hợp với niềm tin đầy đủ vào Thần tính của Đức Ki-tô. Họ vội vã cầu đến Tòa thánh và tố cáo ngài với vị trùng tên với ngài, thánh Điônysiô thành Rô-ma về những khuynh hướng lạc giáo của ngài. Giáo hoàng trả lời bằng cách lấy quyền đặt ra giáo lý thật về vấn đề này. Cả hai việc này đã chỉ cho chúng ta thấy Rô-ma được thừa nhật bởi tòa Giám mục thứ hai trong cộng đoàn Ki tô giáo như thể đã được trao quyền nói một cách có thẩm quyền về những vấn đề giáo lý (Athanasiô, "De sententia Dionysii"-Về ý kiến của Điônysiô-trong PG.,XXV,500).

Hành động của hoàng đế Aurêlianô vào năm 270 cũng đáng chú ý. Một thượng hội đồng các Giám mục đã lên án Phaolô Samôsata, thượng phụ Alexandria với lời buộc tội lạc giáo và đã bầu Đômnô làm Giám mục thay thế. Phaolô từ chối rút lui và gửi đơn chống án lên quyền lực dân sự. Hoàng đế phán quyết ông là người đã được các Giám mục Ý và Giám mục Rô-ma công nhận nên được công nhận và là người hợp pháp giữ Tòa Giám mục.